Hy-Memory-30B-A3B: Attributed Reinforcement Learning for Long-Term Memory Writing
长期记忆写入的归因强化学习模型 Hy-Memory-30B-A3B
🧭 Agent 长期记忆写入 · 归因强化学习 ★ 深度解读
Tencent Hunyuan
训练跨 Mem0/MemOS/Hy-Memory 的紧凑记忆写入器，用逐块探针和归因奖励实现细粒度信用分配，平均 55.49% 超过 Claude Opus 5
📌 工作参考价值（4 点）
- 奖励归因替代稀疏终局奖励：若业务中存在多轮 agent 状态管理（如对话策略、用户画像更新），可将单个最终答案分数拆解为逐块局部探针（recall probes + trap probes）与跨块归因结果奖励，用冻结 judge 打分，解决长序列下 credit assignment 问题。
- chunk-level GRPO 思想可迁移：对任何「每个位置有可观察局部结果」的序列决策任务（如生成式推荐中的 item 序列、搜索会话策略），优势按位置分组归一化而非整个 trajectory，避免一个坏动作惩罚所有正确动作，每个 rollout 每位置只投一票。
- 银行隔离与 carry-forward 训练模式：RL 训练时每个 rollout 写入独立 bank，仅选择最佳 bank 进入下一个窗口，保持训练与部署分布一致，避免 teacher forcing。此模式适用于任何维护外部状态的 RL 训练（如推荐系统的长期兴趣状态、购物车策略）。
- 平台故障与策略错误必须区分：坏策略动作应保留为低奖励 trajectory，平台故障（如 API 失败、分页缺失、checkpoint 空）要重试并从分母排除；同时监控 teacher token coverage、chunk-to-segment mapping 等静默失败，避免训练看似正常但梯度为零。